const https= require('https')
const cheerio=require('cheerio')
const fs=require('fs')
var number=0;
var allFiles=[];

while(allFiles.length<=50){
  if(allFiles.length===0){
    getDataList('https://movie.douban.com/top250')
  }
  else {
    number=number+25
    getDataList(`https://movie.douban.com/top250?start=${number}&filter=`)
  }
}
console.log(allFiles.length);
  //将数据写入到文件中
  // fs.writeFile('./files.json',JSON.stringify(allFiles),function(err,data){
  //   if(err){
  //     throw err
  //   }
  //   console.log('文件保存成功');
  // })
//获取页面的html结构
function getDataList(url){
  https.get(url,function(res){
    let html=''
    res.on('data',function(chunk){
      html+=chunk
    })
    res.on('end',function(){
    //获取html中的数据
    const $=cheerio.load(html)
    //拿到每一个item中我们需要的数据
    $('li .item').each(function(){
      const title=$('.title',this).text()
      const star=$('.info .bd .rating_num',this).text()
      const pic=$('pic img',this).attr('src')
    //数据以对象的形式存放在数组中
    allFiles.push({
      title,
      star,
      pic
    })
    })
    })
  
  })
}
